Mặc dù vị trí của Madrid đã được chiếm giữ làm nơi sinh sống từ thời tiền sử, những dữ liệu lịch sử đầu tiên có liên quan đến thành phố ghi nhận lại khoảng thời gian vào giữa thế kỷ thứ 9, khi Mohammad I ra lệnh xây dựng một cung điện nhỏ (ngày nay vị trí này là Cung điện Real). Xung quanh cung điện này người ta xây lên một thành luỹ nhỏ (al-Mudaina). Cung điện nhìn thẳng hướng về sông Maanazanares, nơi các nhà Hồi giáo gọi tên là Mayrit, có nghĩa là nguồn nước (sau này đổi thành Magerit, và cuối cùng là Madrid). Năm 1085, thành trì bị Alfonso VI chinh phục trong quá trình bành trướng về phía Toledo.